home *** CD-ROM | disk | FTP | other *** search
/ The CICA Windows Explosion! / The CICA Windows Explosion! - Disc 2.iso / demo / nndt120.zip / CHANGES.TXT next >
Text File  |  1995-03-21  |  8KB  |  194 lines
  1.                           NNDT
  2.  
  3.               Neural Network Development Tool
  4.                   Evaluation version 1.2
  5.                        Bj÷rn Saxen
  6.                           1995
  7.  
  8.  
  9. List of changes and (some of the) bug corrections
  10.  
  11. 1.1 -> 1.2
  12. ==============
  13. Changes:
  14. - Direct input-output (by-pass) connections possible.
  15. - No truncation of numbers when editing weights in the network
  16.   state window. 
  17. - Specification of hidden nodes in output file header.
  18. - Several weights can be selected at once in equal/constant window.
  19. - Control characters (04) removed from the beginning and end of the 
  20.   user's guide PostScript files since these seem to cause problems 
  21.   on some systems.
  22. - Test data may (alternatively to train data) be written to the 
  23.   output file.
  24. - New data is appended to an existing log file.
  25.  
  26. Fixed bugs:
  27. - Crash in scale factor window when more than 10 input or output 
  28.   nodes.
  29. - Log file specifications were not reset when new setup chosen.
  30. - Linefeed incompatibility state window <-> MS Excel.
  31.  
  32. 1.0 -> 1.1
  33. ==============
  34. Changes:
  35. - Command line arguments enabling non-interavtive runs supported
  36. - The pattern file may have up to 35 columns
  37. - Max number of nodes/layer increased to 15, max number of weights
  38.   increased to 200 
  39. - User's guide is split into three separate ps-files, since there 
  40.   seems to be problems with printing large ps-files on some systems.
  41.   All three parts are packed into MANUAL.ZIP
  42. - "Always reread pattern file" check box added -> changes made
  43.   to the pattern file contents between subsequent runs take effect.
  44. - Multiple sessions of NNDT possible
  45. - A log file option added
  46. - The seed for the random number generator is saved in the setup file,
  47.   the seed is not re-generated when "initialise" window is opened.
  48. - The default value for the relative weight change limit is set to 
  49.   100%, since this is often a suitable value.
  50. - The default directory is changed to that of the latest file selected 
  51.   in any of the file dialog boxes.
  52.  
  53. Fixed bugs:
  54. - A GPF occured if memory allocation failed in NNDTCALC.DLL
  55. - An extra line sometimes occured in training progress graph.
  56.  
  57. 0.99 -> 1.0
  58. ==============
  59. Changes:
  60. - A user's guide is delivered with NNDT (MANUAL.ZIP) 
  61. - The network calculations are carried out by NNDTCALC.DLL, 
  62.   situated in the directory created for NNDT. (NETSOLV.DLL
  63.   used by older versions of NNDT can be removed from the
  64.   \system directory)
  65.  
  66. Fixed bugs: 
  67. - An error occured in "training progress" plot occured if the 
  68.   number of iterations exceeded ~6000.
  69. - The axis labels in "performance graph" was drawn in a strange 
  70.   way for some min and max values.
  71. - Initial state table and network activation table (in network
  72.   state window) were not completely shown for certain network
  73.   configurations.
  74.  
  75. 0.98d -> 0.99
  76. ==============
  77. Changes:
  78. - Modified installation routine. Manual setup is made 
  79.   easy since the program files are not compressed.
  80.  
  81. Fixed bugs: 
  82. - Certain large data sets and/or networks caused a GPF in the
  83.   network calculation routine (netsolv.dll)
  84.  
  85. 0.98c -> 0.98d
  86. ==============
  87. Changes:
  88. - Faster network training due to improvements in the algorithm and
  89.   optimized compiling
  90. - Weight initialisation can be made separately for each layer and the 
  91.   seed for the random number generator can be specified by the user.
  92. - Better plot possibilities
  93. - Node activations for test data can be analysed in state window
  94. - Recurrent networks without input signals can be evaluated with a number
  95.   of patterns different to that of the pattern file
  96. - A demo setup (demo1b.mlp) for an autonomous recurrent network added
  97. - Reduced memory requirements at startup
  98.  
  99. Fixed bugs: 
  100. - The node to feed back could not be selected when only one feedback
  101.   connection was chosen
  102. - The analytical gradient (derivatives) was calculated incorrectly for 
  103.   recurrent nets when several periods with equal initial states were used.
  104. - The use of the word "parameter" in the help file etc. was somewhat 
  105.   inconsequent. From now on, a parameter is a network weight, bias or
  106.   initial state. 
  107. - Still some problems with a decimal separator other than the dot (.)
  108. - Test file activations were not calculated if the number of observations 
  109.   in the test file was less than required for network training.
  110. - Graphs were not updated for the final trained net when training converged 
  111.   between redraws (redraw interval > 1) 
  112. - Residuals for test data were not plotted correctly
  113.  
  114. Thanks to Mats and Henrik for testing!
  115.  
  116.  
  117. 0.98b -> 0.98c
  118. ==============
  119. Changes:
  120. - new options for the graph: internal node activations and weights 
  121.   can be plotted, also test data can be plotted
  122. - the graph is updated immediately after changing plot variables 
  123.   or options
  124. - Buttons added to the main window for faster access to other windows.
  125.  
  126. Fixed bugs:
  127. - Real time mode did not work properly -> this option removed!
  128. - rms error for test patterns at iteration 0 was plotted incorrectly
  129. - error in screen updating after use of single step mode
  130. - some parameters were not initialized when a new setup was chosen
  131.  
  132. 0.98 -> 0.98b
  133. =============
  134. Fixed bugs:
  135. - An error in the setup save routine caused problems when "old" weights
  136.   were used.
  137. - No network evaluation was made before training which caused wrong
  138.   value for "iteration zero" in the training progress plot.
  139.  
  140.  
  141. 0.96 -> 0.98
  142. ===========
  143.  
  144. Changes:
  145. - Analytical derivatives available -> better training performance
  146. - Teacher forcing option fot recurrent nets
  147. - New weight constraints: penalty term & max. rel. change
  148. - Specification of constant and equal weights possible
  149. - A separate test file can be used
  150. - Time, iteration index, SSQ and rms error are written to a log table after
  151.   each iteration
  152. - A plot of rms error for training and test data vs iteration index
  153.   is available
  154.  
  155. Fixed bugs:
  156. - Using a decimal separator other than the dot (.) as default in the 
  157.   MS Windows environment caused problems, hopefully not any more
  158.  
  159.  
  160. 0.9 -> 0.96
  161. ===========
  162.  
  163. Changes:
  164. - Menus and file selection restructured to a more "standard" form.
  165. - "New setup" option added
  166. - Pattern file setup made clearer (hopefully).
  167. - OK button in about-box when chosen from menu.
  168. - Faster aborting when stop button pressed during iteration.
  169. - Default redraw interval set to 1, this also limits the training
  170.   to *one* step at a time in "single step mode".
  171. - Better possibilities to examine node activations for separate 
  172.   patterns, both during iteration steps and after iteration.
  173. - Button to verify weight changes made in network state window added.
  174. - Residuals, i.e the difference between network and desired outputs, can
  175.   be plotted as an alternative to the outputs.
  176. - The plot "density" can be increased to make faster (but less accurate) plot
  177. - Check box for pattern data filtering
  178. - Network parameter window accessed by double-clicking the picture
  179.  
  180.  
  181. Fixed bugs:
  182. - Some user actions in network state window caused illegal function calls.
  183. - Only one header line was read from the pattern file, even if a greater 
  184.   number was specified.
  185. - Some missing lines in the setup file DEMO1.MLP caused errors when DEMO1
  186.   opened after a setup with feed-back nodes.
  187. - Multiple instances of running NNDT:s cause GPF:s in the training 
  188.   routines (NETSOLV.DLL). Now, only one NNDT can call the DLL at a time.
  189. - Decreasing the number of variables to be read from pattern file did not 
  190.   always work
  191. - Specification of the feed-back nodes was not always easy.
  192. - + some other bugs which I don┤t remember...
  193.  
  194.